Năm 1820, trước lúc thăng hà, vua Gia Long cho vời ông và Tả quân Lê Văn Duyệt đến để ủy thác trách nhiệm giúp đỡ sử quân điều hành việc nước. Năm đó, người con gái đầu lòng của Thượng thư Phạm Đăng Hưng và bà Phạm Văn Thị là Phạm Thị Hằng (Từ Dụ Thái hậu sau này) mới lên 10 tuổi nhưng đã sớm biểu lộ tư chất thông minh và lòng hiếu đễ hiếm có.chàng hoàng tử trong mơ phan 11